Beyond Borrowed Histories: Person-Aligned User Simulation for Interactive Role-Playing Evaluation
超越借用历史:面向交互式角色扮演评估的个性化用户模拟
🧭 角色扮演代理评估 · 用户模拟器
University of Science and Technology of China · MetaStone Technology, Beijing, China
提出基于用户模拟器的个性化评估框架,解决现有基准使用固定对话史和通用评分的问题
📌 工作参考价值(4 点)
- 用户模拟器可复用到对话推荐或搜索系统的离线评估中,针对不同用户画像生成个性化交互会话,模拟真实用户行为。
- 个性化评分标准的思想可迁移至推荐满意度预测,训练用户特定的评估模型,比单一评分更准确衡量个体体验。
- 多轮会话级别的评估范式适用于对话式推荐、客服Agent等长交互场景,突破单轮评估局限,捕捉长期交互质量。
- 生成可解释的用户-系统对级评估报告,帮助分析细分用户群的体验差异,指导业务进行针对性优化。